Current Result Document :
| 한글제목(Korean Title) |
NoisyTune 기반 미세조정을 이용한 한국어 텍스트 분류 |
| 영문제목(English Title) |
NoisyTune-based Finetuning for TextClassification of Korean |
| 저자(Author) |
이현민
나승훈
임준호
김태형
류휘정
장두성
Hyeon-min Lee
Seung-Hoon Na
Joon-Ho Lim
Tae-Hyeong Kim
Hwi-Jung Ryu
Du-Seong Chang
|
| 원문수록처(Citation) |
VOL 49 NO. 02 PP. 0452 ~ 0454 (2022. 12) |
한글내용
(Korean Abstract) |
오늘날의 언어 모델은 크게 두 가지 과정을 거쳐 학습을 진행한다. 대규모 학습 데이터를 통해 언어의 전반적인 이해를 위한 사전학습(Pre-train)을 한 후, 세부 태스크에 맞춰 미세조정(Fine-tuning)을 진행한다. 그러나 사전학습 데이터와 미세조정 데이터간의 간극으로 인해 언어모델이 오버피팅(overfitting)이 발생할 위험이 있다. NoisyTune는 사전학습된 언어모델에 미세한 노이즈(Noisy)를 통해 미세조정이 잘 일어나도록 한다. 본 논문은 위에 상기한 NoisyTune을 한국어 사전학습 언어모델인 KoBERT에 Klue 데이터 셋을 활용하여 효과를 검증한다. |
영문내용
(English Abstract) |
|
| 키워드(Keyword) |
|
| 파일첨부 |
PDF 다운로드
|
